AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
AI4AI-Bench：评估LLM智能体设计训练算法实现递归自我改进
🧭 LLM Agent 训练算法设计基准
Navers Lab · Einsia.AI · Tsinghua University
构建10任务基准，评估LLM智能体重写训练算法实现递归自我改进的能力，最强仅得0.250分
📌 工作参考价值（4 点）
- 构建内部Agent能力基准时，可采用「冻结代码仓库+固定隐藏评估器+统一归一化分数」的范式：对不同任务的不可比指标映射到同一量纲，0为无信息模型，0.1为基线仓库算法，1为任务最优，便于横向对比各种Agent配置。
- 结论提示：多数LLM Agent在优化任务中只做数据收集或超参数调优，很少真正改变模型学习规则。在电商推荐/广告场景中，若用Agent自动优化训练pipeline，需显式检测其是否只调参而不改update rule，否则提升有限。
- 推理努力（reasoning effort）主要提高Agent「敢于修改核心训练算法」的概率（8%→64%），但对最终得分提升有限。业务上若让Agent做模型优化，增加思考预算可能带来更多探索行为，但需要配合约束和评估器防止无效改动。
- 工程实现上，对Agent提交的代码在隔离环境下从零重跑并限制计算预算（4h重写/12h重训），可防止作弊并确保公平，适合作为自动化优化任务的评估标准。